Sau khi chiếm được Nam Kỳ, các thống đốc quân sự Pháp đã quyết định cho xây dựng khu thương cảng Sài Gòn (Port de Commerce de Saigon) để làm đầu mối thông thương với quốc tế. Việc xây dựng cảng được giao cho hãng vận tải biển Messageries impériales.[5] Các bến cảng đầu tiên được xây dựng tại Bến Thành,[6] gần hải quân công xưởng Sài Gòn (arsenal de Saigon), trong thời gian gần 1 năm.

Để tiện việc quản lý thương cảng, ngày 4 tháng 3 năm 1863, tòa nhà trụ sở của hãng Messageries maritimes cũng được xây dựng để làm nơi ở cho viên Tổng quản lý và nơi bán vé tàu. Việc xây dựng do một viên quan năm tên Domergue phụ trách.

Tháng 10 năm 1865, hãng cho dựng thêm một cột cờ hiệu (mât des signaus) bằng thép cao 40m tại vị trí nền đồn dinh quan Thủ ngữ[7] trước đây để làm hiệu cho các tàu bè ra vào cảng. Dân gian gọi là Cột cờ Thủ Ngữ.

Năm 1893, tòa nhà hãng Messageries maritimes được lắp đèn điện, dùng bóng đèn 16 nến, sáng leo lét, kém xa mấy ngọn đèn lồng thắp dầu lửa mà tòa đô chính cho thắp thử ở đường Catina (nay là đường Đồng Khởi).

Gần cuối năm 1899, hãng được phép xây cất bến cho tàu cập vào. Bến lót ván dày, đặt trên trụ sắt dọc theo mé sông 42 mét (phía tàu cập vào). Bến này cách bến kia 18 mét. Bề ngang của mỗi bến vào phía trong bờ là 8 mét. Từ bờ ra bến có cầu rộng 10 mét. Ban đầu xây hai bến rồi xây thêm bến thứ ba.[8]

Năm 1919, hãng được phép xây bến bằng xi măng cốt sắt, nhưng không thực hiện được, phải đến tháng 3 năm 1930 mới hoàn thành bến mới, chỉ một bến nhưng dài tới 430 mét.[8]

Sau năm 1955, chính quyền Việt Nam Cộng hòa đã cho tu bổ lại mái ngôi nhà và thay thế hai con rồng cũ bằng hai con rồng khác với tư thế quay đầu ra. Năm 1965, tòa nhà được quân đội Mỹ sử dụng làm trụ sở của Cơ quan Tiếp nhận viện trợ quân sự Mỹ.

Sau năm 1975, tòa nhà - biểu tượng của cảng Sài Gòn - thuộc quyền quản lý của Cục đường biển Việt Nam.